prompt engineering
task
summarization (要約)
question answering (質疑應答)
classification (分類)
insertion (text 挿入)
穴埋め
role playing
論理的思考
code 生成
visualization (可視化)
飜譯
copywriting
手法
reasoning (意味分解)
單一の解法 (decoding)
zero-shot reasoning / zero-shot CoT
「ステップバイステップで考えてみましょう。」
self-consistency (自己一貫性)
generated knowledge prompt
PAL (program-aided language model)
chunk 分割 / 再歸的要約 (recursive summarization)
RetrievalQA
stuff
map_reduce
map_rerank
refine
畫像生成の界隈では「呪文」と呼ばれがち
元素法典
positive prompt + negative prompt
擴散 model (diffusion model)
prompt
命令 + 入力 data + 文脈 (context) + 出力形式の指定
例示
zero-shot prompt
例示無し
one-shot prompt
in-context learning (ICL)
例は構造を定めて與へる
code:prompt
input: 〜
answer: 〜
input: 〜
answer: 〜
input: 〜
answer:
穴埋め
// TODO を埋めさせる
思考過程を入力し、reasoning させる
few-shot CoT
例示の中に思考過程を含める
zero-shot CoT
「ステップバイステップで考えてみましょう。」
reasoning を促す
思考の木 (ToT (tree of thought))
ToT prompting
prompt 內で思考の木を作る樣に指示する
自己整合性 (self-consistency)
複數の出力の多數派を採用する
知識生成 prompting
話題に就いての知識を生成させ、その知識を入力に含めて質問する
prompt chaining
檢索擴張生成 (RAG) (retrieval augmented generation。檢索擴張 prompt (retrieval-augmented prompting)) 文書から vector への embedding も LLM の embedding API にやらせておく
pgvector
summary embeddings
chunk と parent retriever
hypothetical document embeddings (HyDE)
query expansion
rewrite-retrieve-read
hypothetical questions
step-back prompting (STP)
reasoning (意味分解)
dynamic routing
reasoning (意味分解)
embedding finetuning
rerank
檢索結果を再順位附け model に入力して竝べ替へる
automatic reasoning and tool-use
自動 prompt engineer (APE)
AutoPrompt
prefix tuning
prompt tuning
Active-Prompt
方向性刺激 prompting (directional stimulus prompting)
program 支援言語 model (PAL (program-aided language models))
組み込まれた runtime 向けの programming code を生成させ實行させる
function calling
multi modal CoT
GraphPrompt
出力の評價
LLM に出力を入力して評價させる
user feedback
LLM01: prompt injection
敵對的 prompt (adversarial prompting)
prompt injection
prompt leak
user 入力文章の明示
「〜」と云ふ入力に對して〜を實行してください
system message を活用して user message から區別する
topic 檢證
入力の檢證
「〜」と云ふ入力は今囘の topic に沿ってゐますか?
denylist 檢證
利用規約
log 蒐集
LLM の返答自體を LLM に入力して、所定の policy に違反してゐないか聞く
出力の檢證
OpenAI Moderation API
LLM02: insecure output handling (安全でない出力處理)
LLM03: training data poisoning (training data の汚染)
LLM04: model denial of service (model への DoS)
LLM05: supply chain vulnerabilities (supply chain の脆弱性)
LLM06: sensitive information disclosure (機密 data の漏洩)
LLM07: insecure plugin design (安全でない plugin 設計)
LLM08: excessive agency (agent の暴走)
LLM09: overreliance (過度な依存)
LLM10: model rheft (model 泥棒)